在不失去先前学习的情况下学习新任务和技能(即灾难性遗忘)是人为和生物神经网络的计算挑战,但是人工系统努力与其生物学类似物达成平等。哺乳动物的大脑采用众多神经手术来支持睡眠期间的持续学习。这些是人工适应的成熟。在这里,我们研究了建模哺乳动物睡眠的三个不同组成部分如何影响人工神经网络中的持续学习:(1)在非比型眼运动(NREM)睡眠期间观察到的垂直记忆重播过程; (2)链接到REM睡眠的生成记忆重播过程; (3)已提出的突触降压过程,以调整信噪比和支持神经保养。在评估持续学习CIFAR-100图像分类基准上的性能时,我们发现将所有三个睡眠组件的包含在内。在以后的任务期间,训练和灾难性遗忘在训练过程中提高了最高准确性。尽管某些灾难性遗忘在网络培训过程中持续存在,但更高水平的突触缩减水平会导致更好地保留早期任务,并进一步促进随后培训期间早期任务准确性的恢复。一个关键的要点是,在考虑使用突触缩小范围的水平时,手头有一个权衡 - 更具侵略性的缩减更好地保护早期任务,但较少的缩减可以增强学习新任务的能力。中级水平可以在训练过程中与最高的总体精度达到平衡。总体而言,我们的结果都提供了有关如何适应睡眠组件以增强人工连续学习系统的洞察力,并突出了未来神经科学睡眠研究的领域,以进一步进一步进行此类系统。
translated by 谷歌翻译
We present HetNet (Multi-level \textbf{Het}erogeneous \textbf{Net}work), a highly efficient mirror detection network. Current mirror detection methods focus more on performance than efficiency, limiting the real-time applications (such as drones). Their lack of efficiency is aroused by the common design of adopting homogeneous modules at different levels, which ignores the difference between different levels of features. In contrast, HetNet detects potential mirror regions initially through low-level understandings (\textit{e.g.}, intensity contrasts) and then combines with high-level understandings (contextual discontinuity for instance) to finalize the predictions. To perform accurate yet efficient mirror detection, HetNet follows an effective architecture that obtains specific information at different stages to detect mirrors. We further propose a multi-orientation intensity-based contrasted module (MIC) and a reflection semantic logical module (RSL), equipped on HetNet, to predict potential mirror regions by low-level understandings and analyze semantic logic in scenarios by high-level understandings, respectively. Compared to the state-of-the-art method, HetNet runs 664$\%$ faster and draws an average performance gain of 8.9$\%$ on MAE, 3.1$\%$ on IoU, and 2.0$\%$ on F-measure on two mirror detection benchmarks.
translated by 谷歌翻译
玻璃在我们的日常生活中非常普遍。现有的计算机视觉系统忽略了它,因此可能会产生严重的后果,例如,机器人可能会坠入玻璃墙。但是,感知玻璃的存在并不简单。关键的挑战是,任意物体/场景可以出现在玻璃后面。在本文中,我们提出了一个重要的问题,即从单个RGB图像中检测玻璃表面。为了解决这个问题,我们构建了第一个大规模玻璃检测数据集(GDD),并提出了一个名为GDNet-B的新颖玻璃检测网络,该网络通过新颖的大型场探索大型视野中的丰富上下文提示上下文特征集成(LCFI)模块并将高级和低级边界特征与边界特征增强(BFE)模块集成在一起。广泛的实验表明,我们的GDNET-B可以在GDD测试集内外的图像上达到满足玻璃检测结果。我们通过将其应用于其他视觉任务(包括镜像分割和显着对象检测)来进一步验证我们提出的GDNET-B的有效性和概括能力。最后,我们显示了玻璃检测的潜在应用,并讨论了可能的未来研究方向。
translated by 谷歌翻译
现有的DERANE方法主要集中于单个输入图像。只有单个输入图像,很难准确检测到雨条,去除雨条并恢复无雨图像。与单个2D图像相比,光场图像(LFI)通过通过元素摄像机记录每个事件射线的方向和位置,嵌入了广泛的3D结构和纹理信息,该镜头已成为计算机中的流行设备视觉和图形研究社区。在本文中,我们提出了一个新颖的网络4D-MGP-SRRNET,以从LFI中删除雨条。我们的方法将大雨LFI的所有子视图作为输入。为了充分利用LFI,我们采用4D卷积层来构建拟议的雨牛排清除网络,以同时处理LFI的所有子视图。在拟议的网络中,提出了带有新颖的多尺度自引导高斯工艺(MSGP)模块的雨水检测模型MGPDNET,以检测输入LFI的所有子视图中的雨条。引入了半监督的学习,以通过对虚拟世界LFI和现实世界中的LFI进行多个尺度上的虚拟世界LFI和现实世界中的LFI来准确检测雨季,这是通过计算现实世界中雨水条纹的伪地面真相。然后,所有减去预测的雨条的子视图都将馈送到4D残差模型中,以估计深度图。最后,所有子视图与相应的雨条和从估计的深度图转换的相应雨条和雾图都馈送到基于对抗性复发性神经网络的雨天LFI恢复模型,以逐步消除雨水条纹并恢复无雨的LFI LFI LFI。 。对合成LFI和现实世界LFI进行的广泛的定量和定性评估证明了我们提出的方法的有效性。
translated by 谷歌翻译
多实施学习(MIL)被广泛用于对病理整体幻灯片图像(WSIS)的计算机辅助解释,以解决缺乏像素或贴片的注释。通常,这种方法直接应用“自然图像驱动”的MIL算法,该算法忽略了WSIS的多尺度(即金字塔)性质。现成的MIL算法通常部署在单个WSIS(例如20x放大倍率)上,而人类病理学家通常以多尺度的方式汇总全球和局部模式(例如,通过放大不同大型)。在这项研究中,我们提出了一种新型的跨尺度注意机制,以明确地将尺度间相互作用汇总到单个MIL网络的克罗恩病(CD)(CD),这是炎症性肠病的一种形式。本文的贡献是两个方面:(1)提出了一种跨尺度注意机制,以从不同分辨率的多尺度相互作用汇总特征; (2)生成差异多尺度注意的可视化,以定位可解释的病变模式。通过训练来自20名CD患者的约250,000 H&E染色的上升结肠(AC)斑块,在不同尺度上训练30个健康对照样品,我们的方法在曲线下(AUC)得分为0.8924,与基线模型相比达到0.8924。官方实施可在https://github.com/hrlblab/cs-mil上公开获得。
translated by 谷歌翻译
现有的伪装对象检测(COD)方法在很大程度上依赖于具有像素注释的大规模数据集。但是,由于边界模棱两可,注释伪装物体像素 - 智能(每图像需要约60分钟),这是非常耗时的和劳动密集型的。在本文中,我们使用涂鸦注释作为监督提出了第一个弱监督的伪装对象检测(COD)方法。为了实现这一目标,我们首先构建了一个带有4,040张图像和相应涂鸦注释的基于涂鸦的伪装对象数据集。值得注意的是,注释我们数据集中使用的涂鸦每图像仅需约10秒钟,这比每像素注释快360倍。但是,直接使用涂鸦注释进行监督的网络将无法本地化伪装对象的边界,并且往往会有不一致的预测,因为涂鸦注释仅描述了没有细节的对象的主要结构。为了解决这个问题,我们提出了一个由两个部分组成的新型一致性损失:可靠的跨视图损失,以在不同图像上获得可靠的一致性,以及在单个预测图内保持一致性的软内部视图损失。此外,我们观察到,人类使用语义信息来段区域接近伪装物体的边界。因此,我们设计了一个特征引导的损失,其中包括直接从图像中提取的视觉特征和模型捕获的语义显着特征。此外,我们提出了一个新颖的网络,该网络通过对结构信息和语义关系进行涂鸦学习来检测伪装的对象。实验结果表明,我们的模型在三个COD基准上的表现优于相关的最新方法,MAE的平均提高为11.0%,S量表为3.2%,E-Measure 2.5%,加权F-的4.4%。措施。
translated by 谷歌翻译
镜像检测旨在识别给定输入图像中的镜像区域。现有作品主要集中于整合语义特征和结构特征,以挖掘镜像和非摩尔区域之间的相似性和不连续性,或者引入深度信息以帮助分析镜像的存在。在这项工作中,我们观察到一个真实的对象通常与镜子中的相应反射形成松散的对称关系,这有助于区分镜子和真实对象。基于此观察结果,我们提出了一个基于双路对称性变压器的镜像检测网络(SATNET),其中包括两个新型模块:对称性吸引注意的注意模块(SAAM)以及对比度和融合解码器模块(CFDM)。具体而言,我们首先引入了变压器主干,以模拟图像中的全局信息聚合,并在两条路径中提取多尺度特征。然后,我们将高级双路径特征喂给Saams以捕获对称关系。最后,我们融合了双路径功能,并使用CFDM逐渐完善我们的预测图,以获得最终的镜面掩码。实验结果表明,在所有可用的镜像检测数据集上,Satnet优于RGB和RGB-D镜检测方法。
translated by 谷歌翻译
关于图像协调的最新作品将问题作为像素图像翻译任务通过大型自动编码器解决。在处理高分辨率图像时,它们的性能不令人满意和缓慢的推理速度。在这项工作中,我们观察到调整基本图像过滤器的输入参数,例如亮度和对比度,足以使人类从复合材料的图像中产生逼真的图像。因此,我们将图像协调作为图像级回归问题,以了解人类用于任务的过滤器的参数。我们提出了一个用于图像协调的谐波框架。与基于黑框自动编码器的先前方法不同,Harmonizer包含用于过滤器参数预测的神经网络,以及用于图像协调的几个白色框过滤器(基于预测参数)。我们还引入了级联回归器和一个动态损失策略,以使和声使更稳定地学习过滤器论点。由于我们的网络仅输出图像级参数和我们使用的过滤器是有效的,因此谐波比现有方法更轻,更快。全面的实验表明,谐波可以超过现有方法,尤其是在高分辨率输入的情况下。最后,我们将谐波应用于视频和谐,以1080p分辨率在框架和56 fps上实现一致的结果。代码和型号可在以下网址提供:https://github.com/zhkkke/harmonizer。
translated by 谷歌翻译
随着现代建筑倾向于使用大量玻璃面板,玻璃表面变得越来越无处不在。然而,这对机器人,自动驾驶汽车和无人机等自主系统的运营构成了重大挑战,因为玻璃板可能会成为导航的透明障碍。存在的工作试图利用各种线索,包括玻璃边界上下文或反思,例如先验。但是,它们都是基于输入RGB图像的。我们观察到3D深度传感器光线通过玻璃表面的传输通常会在深度图中产生空白区域,这可以提供其他见解以补充RGB图像特征以进行玻璃表面检测。在本文中,我们通过将RGB-D信息合并到两个新型模块中提出了一个新颖的玻璃表面检测框架:(1)一个跨模式环境挖掘(CCM)模块,以适应从RGB和深度学习个人和相互的上下文特征信息,以及(2)深度失误的注意力(DAA)模块,以明确利用空间位置,在这些空间位置存在缺失的深度以帮助检测玻璃表面的存在。此外,我们提出了一个大规模的RGB-D玻璃表面检测数据集,称为\ textit {RGB-D GSD},用于RGB-D玻璃表面检测。我们的数据集包含3,009个现实世界的RGB-D玻璃表面图像,并具有精确的注释。广泛的实验结果表明,我们提出的模型优于最先进的方法。
translated by 谷歌翻译
制定了具有机器学习模拟(骆驼)项目的宇宙学和天体物理学,通过数千名宇宙的流体动力模拟和机器学习将宇宙学与天体物理学结合起来。骆驼包含4,233个宇宙学仿真,2,049个n-body和2,184个最先进的流体动力模拟,在参数空间中采样巨大的体积。在本文中,我们介绍了骆驼公共数据发布,描述了骆驼模拟的特性和由它们产生的各种数据产品,包括光环,次麦,银河系和空隙目录,功率谱,Bispectra,Lyman - $ \ Alpha $光谱,概率分布函数,光环径向轮廓和X射线光子列表。我们还释放了超过骆驼 - 山姆的数十亿个星系的目录:与Santa Cruz半分析模型相结合的大量N身体模拟。我们释放包含350多个Terabytes的所有数据,并包含143,922个快照,数百万光环,星系和摘要统计数据。我们提供有关如何访问,下载,读取和处理数据AT \ URL {https://camels.readthedocs.io}的进一步技术详细信息。
translated by 谷歌翻译